Perspective API

Using machine learning to reduce toxicity online

オンライン上のコメントやメッセージの「毒性」を検出することを目的としている。毒性とは、相手を侮辱したり中傷したりするような攻撃的な内容を指す。

大量のオンラインコメントデータを使って学習されたAIモデル。テキストを入力すると、そのテキストの毒性レベルをスコア化して返す。

オンライン上の議論を健全化し、建設的な会話を促進することを目指している。ソーシャルメディアプラットフォームやニュースサイト、ブログなどに組み込んで利用できる。

毒性検出以外にも、差別的表現、脅迫、わいせつ表現など、様々な種類の不適切なコンテンツを検知できるモデルを提供している。

一方で、文脈を理解せずに機械的に判定するため、皮肉や冗談を攻撃的だと誤検知してしまう課題もある。また、特定の価値観に基づいて学習されているため、バイアスがかかっているとの指摘もある。

現在は「建設的な会話」の要素を学習するモデル構築にも取り組んでおり、攻撃的コンテンツの削除だけでなく、生産的な議論を促す方向に進化させようとしている。

オンライン上の健全な議論を実現するためのツールとして注目されていますが、AIによる機械的な判定の限界にも留意が必要だと言えます。人間のモデレーターと組み合わせて活用していくのが望ましいでしょう。